你可以學到？

今天將學到透過 Filebeat 傳送 Log 的資料到 Elastic cloud，並且深入了解各個細節部分。

本篇的主題包含有：

1. 運送日誌資料

那我們就開始吧！

動手實作 EP8：運送日誌資料

Filebeat 結構

這一部分的實作，我們將可以學到：

• 使用 Filebeat 將日誌資料送入 Elasticsearch

1. 先來修改 filebeat.yml 檔案來設置 Filebeat 啟動 log 輸入，位置則是先準備好的 /home/elastic/datasets/nginx.log：

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /home/elastic/datasets/nginx.log

2. 修改完後，測試一下設置沒有問題，可以看到各種 OK 的訊息：

./filebeat test config
./filebeat test output

3. 接著啟動 Filebeat（細心的你一定會發現這邊怎麼沒有 modules enable 呢？別著急，下一階段就知道為什麼了！）：

./filebeat -e

4. 再來我們回到 Kibana 的 Discover 下，過濾只有 filebeat-* 的部分，可以看到如下面的日誌紀錄：

如果你去看左邊 message 欄位的部分，會發現內容並沒有解析出來，這是因為 Filebeat 並不知道哪一部分是屬於 NGINX 的日誌事件，原因很簡單，就是我們沒有啟用 NGINX 的 module 呀～

Modules

這一部分的實作，我們將可以學到：

• 如何啟動和關閉 module
• 如何改變 module 的設定和在 Kibana 查看 module 的輸出

1. 用 Ctrl+C 關掉上一部分開啟的 Filebeat，然後來看看 modules.d 資料夾下面都有些什麼東西吧，可以看到 modules 有支援許多常見的應用程式如 nginx、redis、mongodb...等等。

ls -l modules.d

2. 來更仔細地看一下 nginx 的 module，可以看到有兩個種類的日誌： access 和 error。

cat modules.d/nginx.yml.disabled

3. 接著來編輯剛才查看的 nginx.yml.disabled 檔案，這次實作要使用的日誌位置是在 /var/log/nginx/ 下面：

- module: nginx
  access:
    enabled: true
    var.paths: ["/var/log/nginx/access.log*"]
  error:
    enabled: true
    var.paths: ["/var/log/nginx/error.log*"]

4. 再來啟動 nginx 的 module，並且看看啟用後的變化：

# 啟動 nginx module
./filebeat modules enable nginx

# 列出目前所有 modules
./filebeat modules list

5. 用 ls 比較一下，可以看到啟用後，檔名也改變了！

ls -l modules.d

6. 再重新開啟 Filebeat 前，我們先再來看看 module/nginx 下面有什麼東西，可以看到有兩個種類日誌的資料夾以及 module.yml 的檔案：

7. 而 module.yml 檔案內容，描述 Filebeat 讀取的 Kibana 儀表板（dashboard）是使用什麼樣的。

8. 再來看看 access 這個資料夾下面有什麼，更進一層看 config 下的 nginx-access.yml 檔案，可以看到有四個部分：

• type: 定義 log 的種類
• paths: 從預定義的位置拉出 scripts 的路徑
• exclude_files: 排除的檔案
• processors: 在傳送前過濾和增強資料的處理器

9. error 下的資料夾也和 access 有相同的結構：

10. 都深入研究完後，就來啟動 Filebeat 然後再到 Kibana Discover 下面看看吧！

# 啟動 Filebeat
./filebeat -e

Resilience

這一部分的實作，我們將可以學到：

• Filebeat 的彈性和一些除錯的選項

1. 用 Ctrl+C 關掉上一部分開啟的 Filebeat，然後到 Kibana Dev Tools 刪掉 Filebeat 的索引：

DELETE filebeat-7.6.2-*

2. 接著啟動 Filebeat 後，再用下面搜索的查詢看看，你會發現跳出錯誤，找不到任何東西，為什麼呢？這是因為 Filebeat 會追蹤註冊檔案中已經讀取的內容。由於 /home/elastic/datasets/nginx.log 記錄在此註冊檔案中，因此即使您刪除了索引資料，也不會再次將其重新讀取。

GET filebeat-7.6.2/_search
{
  "query": {
    "match": {
      "log.file.path": "/home/elastic/datasets/nginx.log"
    }
  }
}

3. 那該怎麼辦呢？很簡單，刪掉 registry 下對應的描述檔案就好：

rm data/registry/filebeat/data.json

4. 這時候再重新回去 Dev Tools 執行一次搜索查詢，就可以找到東西啦！

5. 在結束之前，這邊額外提一個，如果想要讓 Filebeat 產生出來的訊息有更多資訊方便除錯的話，可以在 filebeat.yml 的檔案中， logging 的那一部分，做對應的修改，例如說可以加入下面的描述：

logging.level: debug
logging.to_files: true
logging.selectors: ["*"]

今日心得與短結

呼～結束 深入 Logs 的篇章了，其實裡面還有更多細節，但是覺得過於細節跟進階，相信目前的這些內容，要破門而入的話，應該是很夠了！（再破下去我怕連牆都要穿了ㄎㄎ）

今天我們更深入操作了 Filebeat，了解了其架構、Module 和 Resilience，明天我們要換到另一個重要的資料：Metrics，指摽了！